iT邦幫忙

2023 iThome 鐵人賽

DAY 28
0

我對LangChain的認知是,這是一個方便用來開發LLM相關應用程式的框架,裡面包裝了很多LLM在應用上經常會使用到的一些function或工具。

所以今天來試試Alpaca2 with LangChain,先安裝環境:

pip install langchain
pip install sentence_transformers==2.2.2
pip install pydantic==1.10.8
pip install faiss-gpu==1.7.1

下載7B模型

cd ..
git clone https://huggingface.co/ziqingyang/chinese-alpaca-2-7b

執行

cd scripts/langchain
python langchain_qa.py \
  --embedding_path text2vec-large-chinese \
  --model_path ../chinese-alpaca-2-7b \
  --file_path doc.txt \
  --chain_type refine

目前依照這個流程執行,碰到了一些error正在debug...


上一篇
Day 27 - Chinese LLama2 (4) llama.cpp
下一篇
Day 29 - Chinese LLama2 (6) with LangChain
系列文
用單張顯卡探索大型語言模型的奧秘30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言